RemoteANN: A Native Vector Search Engine for Cloud Object Storage
RemoteANN：面向云对象存储的原生向量搜索引擎
🧭 云对象存储上的向量检索系统 ★ 深度解读
Nanyang Technological University · ByteDance
通过 IVF+RaBitQ 量化与数据重排序、请求合并等协同设计，大幅降低云对象存储向量搜索的 I/O 与 API 请求成本
📌 工作参考价值（5 点）
- 若将大规模 embedding 卸载到 S3 等对象存储以降低存储成本，应优先采用 IVF 类索引而非图索引：图索引多跳路由会叠加网络 TTFB，IVF 单轮拉取候选簇更适合高延迟远程存储。
- 借鉴 RaBitQ 量化思路：将向量压缩为 1-bit prefix 常驻内存用于粗筛和距离估计，其余低精度码放远程存储，可大幅减少远程请求，适合嵌入召回的大规模粗排阶段。
- 数据重排序 + 请求合并是降低 API 调用费用的关键：对簇按质心最近邻路径排序（近似 Hamiltonian path），簇内按到质心距离排序，使查询目标范围局部集中，再用动态规划合并 Range-GET 请求，可迁移到任何按请求计费的远程数据读取场景。
- 本地 NVMe SSD 缓存采用自适应阈值：当请求范围大于阈值时整簇下载填充缓存，平衡带宽与缓存命中率，适合电商热门商品/用户 embedding 的冷热分层访问。
- QGKMeans 用 SymphonyQG 加速 k-means 质心分配，索引构建时间可降低数倍，适用于需要频繁重建向量索引的业务（如商品库更新、A/B 测试多版本索引）。